SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context
SocialPersona：多模态社交上下文个性化画像与应答基准
🧭 多模态用户理解与个性化评测 ★ 深度解读
Harbin Institute of Technology
从真实社交媒体时间线推断用户偏好并用于对话，暴露MLLM细粒度兴趣与时间推理严重不足
📌 工作参考价值（4 点）
- 从弱信号轨迹构建用户兴趣画像：可以从电商/内容平台的浏览、收藏、评论等多模态行为日志中，借鉴 SocialPersona 的半自动化流水线（单行为提取→跨行为聚合→时间衰减打分→LLM校准→人工抽检），低成本挖掘隐含的稳定与近期偏好，用于推荐与推送文案生成。
- 区分稳定兴趣与近期兴趣：推荐系统中可显式建模长、短期偏好，对“近期激活”的兴趣给更高时效权重，避免始终推荐过时内容，提升新鲜度。SOCIALPERSONA 的时间分箱和近期 90 天窗口设计可直接迁移为特征工程。
- 利用文本与视觉互补信号：实验显示文字提供主要偏好信号，图片描述补充隐式线索（如视觉场景、活动），两类模态叠加能使兴趣域激活 F1 从 0.503 升至 0.737。电商场景下可融合商品标题、评论文本和主图描述，提升用户兴趣识别的覆盖。
- 两阶段提取-摘要策略处理长序列：面对用户长期行为序列，可先提取关键交互（Top-K 代表性行为）再压缩为概要，既保留细粒度证据又缓解长上下文负担，比直接全量输入更利于强模型（如 GPT-5.4）提升 F1 至 0.375。